AWK একটি কার্যকর টুল যা বড় ফাইলের সাথে দ্রুত এবং দক্ষতার সাথে কাজ করতে সক্ষম। বড় ডেটাসেট প্রসেস করার সময় কিছু কৌশল এবং কৌশল ব্যবহার করে কার্যকারিতা বাড়ানো যায়। নিচে বড় ফাইলের সাথে AWK দিয়ে কাজ করার কিছু টিপস এবং কৌশল আলোচনা করা হলো।
AWK পুরো ফাইলটি মেমরিতে লোড করে না; এটি লাইনে লাইনে ডেটা প্রক্রিয়া করে। এটি বড় ফাইলের সাথে কাজ করার জন্য আদর্শ। তবে, যদি আপনি অ্যারে ব্যবহার করেন, তাহলে এটি মেমরিতে অনেক স্থান নেয়।
awk '{ sum += $1 } END { print "Total:", sum }' large_file.txt
এখানে, এই কমান্ডটি large_file.txt
ফাইলের প্রথম কলামের সব মান যোগ করে। AWK একসাথে পুরো ফাইল লোড না করে লাইনে লাইনে কাজ করবে।
AWK এ অপ্রয়োজনীয় ভেরিয়েবল ব্যবহার এড়ানো হলে মেমরি ব্যবহারের দক্ষতা বৃদ্ধি পায়। যতটা সম্ভব সোজা এবং সরল কোড লেখা উচিত।
awk '{ print $1, $2 }' large_file.txt
এখানে, সরাসরি প্রথম এবং দ্বিতীয় কলাম প্রিন্ট করা হয়েছে, অতিরিক্ত ভেরিয়েবল ব্যবহার না করে।
BEGIN
and END
BlocksBEGIN
ব্লক ব্যবহার করে স্ক্রিপ্টের শুরুতে যেকোনো প্রাথমিক সেটআপ করা যায়, এবং END
ব্লকে ফাইনাল আউটপুট বা ক্লিনআপ করা যায়। এটি কোডের কার্যকারিতা বাড়াতে সহায়ক।
awk 'BEGIN { print "Name\tScore" } { print $1, $2 } END { print "End of report." }' large_file.txt
AWK এর একটি সুবিধা হলো এটি স্ট্রীম প্রক্রিয়াকরণ করতে পারে। এটি পাইপ ব্যবহার করে একটি কমান্ডের আউটপুটকে ইনপুট হিসেবে নিতে পারে।
cat large_file.txt | awk '{ sum += $2 } END { print "Total:", sum }'
এখানে, cat
কমান্ডের আউটপুট AWK কে দেওয়া হয়েছে, যা বড় ফাইলটি লাইনে লাইনে পড়তে সক্ষম।
বড় ফাইল থেকে নির্দিষ্ট ডেটা বের করার সময় ফিল্টারিং এবং সাজানো কার্যক্রম প্রয়োজন। এই জন্য আপনি AWK এর সাথে sort
এবং uniq
ব্যবহার করতে পারেন।
sort
এবং uniq
এর সাথে AWKawk '{ print $1 }' large_file.txt | sort | uniq -c
এখানে, প্রথম কলাম থেকে তথ্য বের করে তা সাজানো হয়েছে এবং এক্সপোজ করা হয়েছে।
AWK এর -F
অপশন ব্যবহার করে কাস্টম ফিল্ড সেপারেটর নির্ধারণ করতে পারেন, যা বড় ফাইলের ডেটা প্রসেসিংকে সহজ করে।
awk -F, '{ print $1, $2 }' large_file.csv
এখানে, large_file.csv
ফাইলের কলামগুলো কমা দ্বারা পৃথক করা হয়েছে।
জটিল এক্সপ্রেশন এড়িয়ে চলা উচিত যখন আপনি বড় ফাইলের সাথে কাজ করছেন। যতটা সম্ভব সহজ এবং পরিষ্কার কোড লিখুন।
awk '$2 > 50 { print $1 }' large_file.txt
এখানে, দ্বিতীয় কলামের মান ৫০ এর বেশি হলে প্রথম কলাম প্রিন্ট করা হয়েছে।
AWK দিয়ে বড় ফাইলের সাথে কাজ করা একটি সহজ এবং কার্যকরী প্রক্রিয়া। AWK এর মেমরি ব্যবস্থাপনা, স্ট্রীম প্রক্রিয়াকরণ, এবং সহজ সিনট্যাক্স ব্যবহার করে আপনি দ্রুত ডেটা বিশ্লেষণ এবং প্রক্রিয়াকরণ করতে পারেন। AWK ব্যবহার করে বড় ফাইলের সাথে কাজ করার সময় যদি আপনি উল্লিখিত কৌশলগুলি ব্যবহার করেন তবে আপনার কার্যকারিতা বৃদ্ধি পাবে এবং ডেটা প্রক্রিয়াকরণ আরও কার্যকর হবে।
common.read_more